ความขัดแย้งของเจ้าจอมแว่นกับสมเด็จพระอมรินทราบรมราชินี หม่อมราชวงศ์คึกฤทธิ์ ปราโมช บันทึกในหนังสือโครงกระดูกในตู้ว่า ...เมื่อเจ้าจอมแว่นมาอยู่ในทำเนียบสมเด็จเจ้าพระยาฯ แล้ว ท่านผู้หญิง (สมเด็จพระอมรินทราบรมราชินี) ก็หึงหวงมาก มีปากเสียงกับสมเด็จเจ้าพระยาฯ ด้วยเรื่องคุณแว่นนี้อยู่บ่อย ๆ จนคืนวันหนึ่ง ท่านผู้หญิงถือดุ้นแสมไปยืนดักคอยอยู่ในที่มืด บนนอกชานเรือน พอคุณแว่นเดินออกมาจากเรือนหลังใหญ่ อันเป็นที่อยู่ของสมเด็จเจ้าพระยาฯ ท่านผู้หญิงก็เอาดุ้นแสมตีหัว คุณแว่นก็ร้องขึ้นว่า เจ้าคุณขา คุณหญิงตีหัวดิฉัน สมเด็จเจ้าพระยาฯ ก็โกรธยิ่งนัก ฉวยได้ดาบออกจากเรือนจะมาฟันท่านผู้หญิง ฝ่ายท่านผู้หญิงก็วิ่งเข้าเรือนที่ท่านอยู่ แล้วปิดประตูลั่นดาลไว้ สมเด็จเจ้าพระยาฯ ก็เอาดาบฟันประตูอยู่โครม ๆ ...[16] เรื่องมีอยู่ว่า ครั้ง ร. 1 ยังไม่ปราบดาภิเษกทรงเสน่ห์หาอาดยานางคำแว่นมากด้วยหน้าตาสวยงามหมดจดและเป็นลาวพุงขาว แต่เกรงท่านผู้หญิงนาค (สมเด็จพระอมรินทราบรมราชินี) ที่มีปากเสียงกับพระองค์เรื่องบาทบริจาริกาและหญิงบำเรอบ่อยจึงได้แต่ให้อาดยานางดูแลงานเรือนทั่วไป รอเวลาท่านผู้หญิงประทับในพระราชวังเป็นเพื่อนธิดาที่เป็นสนมเอกพระยาตากสิน ท่านผู้หญิงรู้ทันสามีจึงสั่งนางกลัดข้าใช้ซึ่งมีหน้าที่บีบนวดสามีทุกคืนว่า หากสมเด็จเจ้าพระยาฯ สั่งหาอาดยานางให้มาเคาะบอกท่านก่อนแล้วค่อยไปตามอาดยานางมา ส่วนท่านผู้หญิงก็ไม่ค้างแรมในพระราชวังนาน 2 เดือน คืนหนึ่งสมเด็จเจ้าพระยาฯ ทนไม่ไหวจึงสั่งนางกลัดตามหาอาดยานางคำแว่นมาพบ นางกลัดทำตามที่ท่านผู้หญิงสั่งคือเคาะบอกก่อนจึงไปตามอาดยานางมา ฝ่ายท่านผู้หญิงถือดุ้นแสมยืนดักในที่มืดบนนอกชานเรือน ครั้นอาดยานางคำแว่นทาแป้งและน้ำอบเสร็จแล้วเดินมาทางเรือนหลังใหญ่ซึ่งเป็นห้องสมเด็จเจ้าพระยาฯ ท่านผู้หญิงเอาดุ้นแสมตีกลางศีรษะอาดยานางจนเลือดท่วม อาดยานางจึงร้องหาสมเด็จเจ้าพระยาฯ ฝ่ายท่านผู้หญิงหญิงเห็นเลือดออกมากก็ตกใจวิ่งเข้าเรือนปิดประตูลั่นดาล สมเด็จเจ้าพระยาฯ ออกมาเห็นอาดยานางคำแว่นเจ็บก็โกรธมาก ฉวยดาบออกจากเรือนจะฟันท่านผู้หญิง เมื่อมาถึงเรือนถีบประตูไม่ออกก็เอาดาบฟันประตูเสียงดังอึกทึกคึกโครม คุณฉิม (ร. 2 ในกาลต่อมา) บุตรคนโตได้ยินเหตุการณ์คิดว่าเจ้าคุณพ่อโมโหใหญ่โตหากปล่อยไว้เกรงแม่รับอันตราย จึงช่วยกันกับคุณจุ้ยและพี่เลี้ยงเข็นครกตำข้าวหลายใบมาต่อใต้หน้าต่างเรือนท่านผู้หญิงพลางเรียกให้หนีลงมา และพาหลบไปอยู่ในวังหลวงโดยอาศัยอยู่ตำหนักเจ้าจอมฉิมใหญ่พระราชธิดาซึ่งเป็นสนมเอกพระยาตากสิน เมื่อสมเด็จเจ้าพระยาฯ เข้ามาเห็นดังนั้นจึงให้อาดยานางคำแว่นรับตำแหน่งดูแลข้าทาสและความเรียบร้อยในเรือนทั้งหมดแทนท่านผู้หญิง สมเด็จเจ้าพระยาฯ ปราบดาภิเษกและสถาปนาพระบรมมหาราชวัง ท่านผู้หญิงก็ไม่เคยเสด็จประทับในพระบรมมหาราชวัง แต่ประทับอยู่พระราชวังเดิมฝั่งธนบุรีกับเจ้าฟ้าชายฉิมพระราชโอรส เสด็จมาเยี่ยมพระราชธิดาในพระบรมมหาราชวังเพียงครั้งคราวตราบสวรรคต อาดยานางคำแว่นจึงรับสถาปนาเป็นเจ้าจอมแว่นพระสนมเอก โปรดฯ ให้รับใช้ใกล้ชิดเบื้องพระยุคลบาทตลอดรัชกาลจนชาววังยกย่องเป็นเจ้าคุณข้างใน[17]